Ban đầu chùa được xây dựng theo ý tưởng của bà Đặng Phùng Hầu, vợ của Tả hiệu điểm, Tham đốc, Quận công Bùi Tướng Công, và cũng là bà ngoại của danh y Lê Hữu Trác. Ngôi chùa được chính bản thân Lê Hữu Trác và Lê Hữu Tán chỉ đạo xây dựng, với mục đích là thờ Phật và liệt tổ hai họ Bùi, Lê Hữu.

Trong những năm 1760 - 1786, Lê Hữu Trác đã dành phần lớn thời gian của mình ở lại chùa, mở phòng mạch khám chữa bệnh cho nhân dân trong vùng và hoàn thành các tác phẩm Hải Thượng y tông tâm lĩnh (gồm 28 tập, 66 quyển), Y trung quan kiện (1780), Y hải cầu nguyên (1782), Thượng kinh ký sự (1783), Vận khí bí điển (1786) và các tác phẩm khác.

Kiến trúc ban đầu của chùa Tượng Sơn là hình chữ Nhất (一), nhưng về sau đã được trùng tu lớn nhỏ nhiều lần. Trong thời gian 17 tháng 7 năm 2010 - 23 tháng 2 năm 2013, chùa được Viện bỏng Quốc gia Lê Hữu Trác đại trùng tu lần ba, kiến trúc lấy nguyên mẫu đợt trùng tu thứ hai năm 1880. Cũng trong ngày khánh thành, thượng tọa Thích Nhật Từ được bổ nhiệm làm trụ trì chùa Tượng Sơn.[2]